“etl”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果1177个，建议您升级VIP下载更多相关专利

[发明专利]一种分布式数据ETL处理方法及装置-CN201610703660.5有效
发明人：吕燕 -专利权人：南京中兴软件有限责任公司
申请日： 2016-08-22 - 公布日： 2018-03-06 - 主分类号： G06F17/30 文献下载
摘要：本发明提出了一种分布式ETL处理方法及装置，该方法包括主ETL服务器分配数据ETL处理任务至所述分布式数据ETL处理系统中的主ETL服务器或从ETL服务器；当主ETL服务器分配到数据ETL处理任务时，对分配到的数据ETL处理任务进行数据ETL处理。从ETL服务器接收主ETL服务器分配的数据ETL处理任务；从ETL服务器根据分配到的数据ETL处理任务的进行并行数据ETL处理。本发明在高并发和大数据采集加工场景下，有效提高了分布式数据ETL处理效率，通过动态控制ETL服务器的数量，有效增强了数据ETL处理系统的快速扩展能力，提高了分布式数据ETL快速处理能力。
一种分布式数据 etl 处理方法装置

[发明专利]ETL任务调度方法、装置、计算机设备及存储介质-CN201811032070.X在审
发明人：王玉珍;陆源;魏尧东 -专利权人：平安科技（深圳）有限公司
申请日： 2018-09-05 - 公布日： 2018-12-18 - 主分类号： G06Q10/06 文献下载
摘要：本发明公开了一种ETL任务调度方法、装置、计算机设备及存储介质。该方法包括：从ETL任务列表获取ETL任务作为目标ETL任务，ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据目标ETL任务的依赖关系判断目标ETL任务是否存在依赖ETL任务；若目标ETL任务不存在依赖ETL任务，将目标ETL任务发送给调度服务器，以由调度服务器处理所述目标ETL任务；若目标ETL任务存在依赖ETL任务，根据目标ETL任务的依赖ETL任务的执行结果来处理目标ETL任务，从而能够实现ETL任务的自动化执行，极大地提高了ETL任务调度的效率，减少了企业员工的工作负担，降低人力成本。
调度服务器任务调度计算机设备存储介质依赖关系自动化处理目标调度资源工作负担列表获取企业员工人力成本

[发明专利]一种电网数据ETL的优化方法及设备-CN202210958411.6在审
发明人：章晓锘;方磊;孔飘红;张静;卢敏;钱建国;裘雨音;由甲川;刘华蕾;李嘉茜 -专利权人：国网浙江省电力有限公司培训中心;国网浙江省电力有限公司
申请日： 2022-08-09 - 公布日： 2022-12-27 - 主分类号： G06F16/25 文献下载
摘要：本发明涉及一种电网数据ETL的优化方法及设备。其方法部分主要包括：设定ETL调度服务器以及多个用于进行ETL处理的ETL处理服务器；各个ETL处理服务器在即将进行ETL处理时，向ETL调度服务器发送自身待处理的ETL数据清单；ETL调度服务器根据所述ETL数据清单上记录的各项业务的数据量的百分比来确定对各项业务进行ETL处理的ETL处理服务器；各个ETL处理服务器将相应业务的数据转移至ETL调度服务器确定的对相应业务进行ETL处理的ETL处理服务器，以进行ETL处理。
一种电网数据 etl 优化方法设备

[发明专利]一种基于元数据的ETL实现方法及系统-CN201510155483.7在审
发明人：栾晓宇;陈德莉;周佳杰 -专利权人：上海烟草集团有限责任公司
申请日： 2015-04-02 - 公布日： 2015-07-15 - 主分类号： G06F17/30 文献下载
摘要：本发明提供一种基于元数据的ETL实现方法，包括：获取预先编写的ETL需求；令所述ETL需求按照数据转换规则形成ETL元数据；将所述ETL元数据导入预创建的ETL元数据模型以存储所述ETL元数据；根据所述ETL元数据生成ETL配置文件；将生成的ETL配置文件编译成可执行ETL JOB。本发明大大提高了ETL管理效率，为数据仓库的发展和使用提供了方便；有效地解决了使用ETL工具时只能完全开发之后才能查错的技术缺陷；规范化的元数据模型可以很清晰地展现ETL过程，方便开发人员梳理与检查当前拟定的ETL流程，加深开发人员对ETL需求的理解，帮助开发人员找到最优的ETL设计方案，确保最终得到的ETL Job执行准确且高效。
一种基于数据 etl 实现方法系统

[发明专利]数据抽取、转换和加载的执行方法和装置-CN200810172019.9有效
发明人：钟果;朱海涛 -专利权人：杭州华三通信技术有限公司
申请日： 2008-10-28 - 公布日： 2009-03-18 - 主分类号： G06F17/30 文献下载
摘要：本发明公开了一种数据抽取、转换和加载ETL的执行方法和装置。该方法包括：满足ETL任务的执行触发条件时，获取当前时间；将所述当前时间作为所述ETL任务的执行时间插入ETL执行队列；根据所述ETL执行队列执行ETL任务。通过使用本发明，将周期性ETL的执行时间和一次性ETL的执行时间统一通过队列进行维护，可同时通过周期性ETL方式或一次性ETL来触发ETL的执行，克服了现有技术中只能单一实现周期性ETL或一次性ETL的缺陷，加强了ETL执行与用户的交互性，增加了ETL执行的灵活性。
数据抽取转换加载执行方法装置

[发明专利]一种用于调度ETL任务的方法与设备-CN201310270366.6在审
发明人：毛枫华;王以弘;先永春;肖振全;史绍伟;杨小飞;胡建华;李瑾;谢马林;郝博伟;邓桂英;宋岚 -专利权人：北京百度网讯科技有限公司
申请日： 2013-06-30 - 公布日： 2014-12-31 - 主分类号： G06F9/46 文献下载
摘要：本发明的目的是提供一种用于调度ETL任务的方法与设备，具体地，获取ETL任务及其任务配置信息；根据任务配置信息，确定ETL任务的调度时间信息；根据ETL任务，以及ETL任务的调度时间信息，建立或更新任务池；根据调度时间信息，对任务池中的ETL任务进行调度，以获得待执行的目标ETL任务；执行目标ETL任务。其中，与现有技术相比，本发明通过根据ETL任务的任务配置信息，确定ETL任务的调度时间信息，以根据ETL任务及其调度时间信息，建立或更新任务池，根据调度时间信息，对任务池中的ETL任务进行调度，获得待执行的目标ETL任务，实现了根据ETL任务的调度时间信息，对任务池中的ETL任务进行调度，提高了ETL任务调度的效率及数据仓库开发效率和资源利用率。
一种用于调度 etl 任务方法设备

[发明专利]ETL文件拆分方法及装置-CN202110515461.2在审
发明人：丁鹏里 -专利权人：中国建设银行股份有限公司
申请日： 2021-05-12 - 公布日： 2021-07-23 - 主分类号： G06F16/25 文献下载
摘要：本发明公开了一种ETL文件拆分方法及装置，涉及自动程序设计的技术领域，其中该方法包括：根据ETL文件的内容，分别提取ETL文件中多个ETL作业的系统设置信息；根据ETL文件的内容，分别提取ETL文件中多个ETL作业的加工配置信息；将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件。本发明涉及自动程序设计的技术领域，本发明实施例分别提取ETL文件中多个ETL作业的系统设置信息和加工配置信息，将每个ETL作业的系统设置信息与加工配置信息拼接为单独的ETL文件，从而有效实现对ETL文件的拆分
etl 文件拆分方法装置

[发明专利]一种基于元数据的ETL任务批量生成方法-CN201911234181.3在审
发明人：陈旋;王冲;郝大松 -专利权人：江苏艾佳家居用品有限公司
申请日： 2019-12-05 - 公布日： 2020-05-15 - 主分类号： G06F16/25 文献下载
摘要：本发明公开了一种基于元数据的ETL任务批量生成方法，属于数据仓库领域，此方法适用于任意有元数据存储的ETL工具，ETL就是将数据从数据源抽取出来，经过转换和清洗，最终加载到目标的过程，通过分析ETL工具元数据模型，可以建立基于ETL工具自身数据处理逻辑的ETL通用模板，进而基于数据库元数据和ETL通用模板可以批量的创建ETL任务。本发明可极大的提高ETL的开发效率，可以适用于多种ETL工具，一旦模板制定完毕后，ETL任务不需要单独开发，通过批量生成即可，单个ETL任务和多个ETL任务的工作开发用时几乎相当，而且批量生成的任务都是基于模版标准化、统一规范的ETL任务，这样就规范了ETL任务标准、提高了ETL任务的开发效率、缩短了数据仓库的建设周期。
一种基于数据 etl 任务批量生成方法

[发明专利]一种监控任务运行的方法和设备-CN201610064486.4有效
发明人：吴媛媛 -专利权人：阿里巴巴集团控股有限公司
申请日： 2016-01-29 - 公布日： 2020-10-16 - 主分类号： G06F16/25 文献下载
摘要：本申请实施例涉及通信技术领域，特别涉及一种监控任务运行的方法和设备，用以针对全链路ETL任务进行监控预警。本申请实施例的方法包括：检测每个ETL任务的状态；根据检测的状态，从至少一个ETL任务中确定满足设定的故障条件的故障ETL任务；针对一个故障ETL任务，确定所述故障ETL任务的第一责任方和所述故障ETL任务的至少一个下游的ETL任务的第二责任方。由于能够在检测到故障ETL任务后，确定故障ETL任务的第一责任方和至少一个下游的ETL任务的第二责任方，从而能够针对全链路ETL任务进行监控预警，对链路上受到影响的ETL任务进行快速定位，为后续及时处理提供了基础
一种监控任务运行方法设备

[发明专利]为ETL任务分配节点的方法和调度系统-CN201010157778.5有效
发明人：杨柏刚;蒋延辉;刘敏戌 -专利权人：阿里巴巴集团控股有限公司
申请日： 2010-04-26 - 公布日： 2011-11-09 - 主分类号： G06F9/50 文献下载
摘要：本发明实施例公开了一种为ETL任务分配节点的方法，包括：调度系统查询数据库中存储的ETL任务中是否存在当前能够运行的ETL任务；如果存在，则从当前能够运行的ETL任务中选择一个当前能够运行的ETL任务；所述调度系统判断是否存在专用于运行所述选择的ETL任务的节点；如果存在，则所述调度系统命令所述专用于运行所述选择的ETL任务的节点运行所述选择的ETL任务，否则，所述调度系统从专用于运行优先级低的ETL任务的节点和能够运行所有优先级的ETL任务的节点中选择一个节点，命令选择的节点运行所述选择的ETL任务，所述优先级低的ETL任务是指优先级比所述选择的ETL任务低的ETL任务。
etl 任务分配节点方法调度系统

[发明专利]数据仓库技术业务的优化方法、装置及电子设备-CN202110077891.0在审
发明人：刘娟;刘怀忠;李阳;王晓武 -专利权人：华为技术服务有限公司
申请日： 2021-01-20 - 公布日： 2022-08-05 - 主分类号： G06F16/25 文献下载
摘要：本申请提供了一种数据仓库技术业务的优化方法、装置及电子设备，该方法包括：接收用户下发的合并请求，所述合并请求用于指示合并至少两个ETL业务，所述至少两个ETL业务包括第一ETL业务和第二ETL业务；确定所述第一ETL业务和所述第二ETL业务的数据源是否相同，若相同，则基于预先配置的算子合并规则，合并所述第一ETL业务和所述第二ETL业务，得到目标ETL业务，其中，所述目标ETL业务为单次读数据及多次写数据的业务，所述目标ETL业务中的多次写数据包括所述第一ETL业务的写数据和所述第二ETL业务的写数据。该方法通过基于预先配置的算子合并规则，对各个相同数据源的ETL业务的算子进行合并，解决了ETL业务间计算逻辑的冗余问题。
数据仓库技术业务优化方法装置电子设备

[发明专利]一种基于多服务节点的数据处理系统及其方法-CN201711351890.0在审
发明人：黄仁高 -专利权人：安徽长泰信息安全服务有限公司
申请日： 2017-12-15 - 公布日： 2018-06-01 - 主分类号： H04L29/08 文献下载
摘要：包括干接口机、ETL服务器集群；ETL服务器集群包括若干ETL服务器；若干接口机与ELT服务器集群通信连接；接口机通过以太网接收数据源数据；数据源数据由若干客户端发送数据；任意两接口机间通过以太网通信连接；接口机内均设有ETL服务器集群中ETL服务器信息表；ETL服务器根据主要处理的数据不同分为不同的种类；ETL服务器内均设有ETL服务器集群中同类ETL服务器信息表。本发明通过ETL服务器集群中对ETL服务器分类并采用ETL服务器信息表、同类ETL服务器列表，实现了对ETL服务器集群中ETL服务器合理安排，解决了现有接口机与ETL服务器负载不平衡的问题。
接口机集群数据处理系统多服务信息表服务器集群负载不平衡数据源数据以太网通信接收数据通信连接客户端以太网源数据分类

[发明专利]ETL任务的处理方法、装置、设备及存储介质-CN201910872609.0有效
发明人：朱林林 -专利权人：北京三快在线科技有限公司
申请日： 2019-09-16 - 公布日： 2020-11-20 - 主分类号： G06F16/25 文献下载
摘要：本申请公开了一种ETL任务的处理方法、装置、设备及存储介质。所述方法包括：获取ETL任务的元数据信息；根据元数据信息确定ETL任务的评价参数，该评价参数用于表征ETL任务的价值；根据评价参数对ETL任务进行处理。本申请实施例提供的技术方案中，通过获取ETL任务的元数据信息，根据该元数据信息确定该ETL任务的评价参数，然后基于该评价参数对ETL任务进行处理；从而通过对ETL任务进行量化评估，实现了对ETL任务的价值的量化表征，进而实现了对ETL任务的自动化管理，相比于人工管理的方式，效率更高，且成本更低。
etl 任务处理方法装置设备存储介质

[发明专利]一种数据处理与控制逻辑分离的ETL调度方法和装置-CN201611260460.3有效
发明人：胡国靖;王国飞;李光瑞;汪远航;罗志成 -专利权人：中移(苏州)软件技术有限公司;中国移动通信集团公司
申请日： 2016-12-30 - 公布日： 2021-11-02 - 主分类号： G06F16/25 文献下载
摘要：本发明实施例公开了一种数据处理与控制逻辑分离的ETL调度方法和装置，所述方法包括：在全部已发布的抽取转换装载ETL任务中查找当前ETL任务；当在全部已发布的ETL任务中没有查找到所述当前ETL任务时，获取所述当前ETL任务对应的当前控制流；其中，所述当前控制流中至少包括：所述当前ETL任务对应的当前数据流；根据所述当前控制流对所述当前ETL任务进行调度。不仅能够简化ETL任务的调度流程，而且还可以提高ETL任务的调度效率。
一种数据处理控制逻辑分离 etl 调度方法装置

[发明专利]一种分布式环境下ETL作业调度资源分类评估的方法-CN201911225107.5有效
发明人：杜海;唐伟力;苗青鹏;吴迪 -专利权人：中国电子科技集团公司第三十研究所
申请日： 2019-12-04 - 公布日： 2022-03-22 - 主分类号： G06Q10/06 文献下载
摘要：本发明公开了一种分布式环境下ETL作业调度资源分类评估的方法，包括：步骤一，确定评估ETL服务器性能的指标体系；步骤二，确定ETL作业类型；步骤三，基于指标体系聚类分析ETL服务器指标数据，得到与ETL作业类型对应分类的ETL服务器候选集；步骤四，建立指标评估矩阵并计算指标的信息熵及信息熵的权重；步骤五，对各类的ETL服务器候选集进行排序；步骤六，将ETL作业按照步骤二计算确定ETL作业类型，然后在对应分类的ETL服务器候选集中选择排序靠前的ETL服务器。本发明采用了聚类分析法和基于信息熵的评估方法评估ETL服务器的性能，自动匹配尚未进入执行状态的ETL作业，能够充分利用ETL服务器空闲资源，动态的准实时的分配计算资源。
一种分布式环境 etl 作业调度资源分类评估方法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 1177 条